Sinh ra tại Wortley, và lớn lên ở Horsforth, Leeds, thời thơ ấu Milner đã chơi cho đội tuyển bóng đá của Trường tiểu học Westbrook Lane ở Horsforth. Sau đó anh cũng học tại Trường Horsforth. Graeme Coulson, một huấn luyện viên đến từ Rawdon, công nhận tài năng của Milner và thuyết phục anh chơi cho Rawdon trong nhiều giải đấu, bao gồm một giải đấu tại Rawdon Meadows, nơi Milner ghi được bốn bàn thắng trong chiến thắng của họ ở trận chung kết.[4]

Milner được mô tả là "số một lớp học" tại trường mình, anh rời nơi đây với 11 bằng GCSE và một giải thưởng cho hiệu suất cao của mình trong môn giáo dục thể chất.[4][5] Milner cũng cho thấy tài năng trong khi chơi cricket, chạy nước rút và chạy đường dài. Anh chơi cho đội tuyển cricket trường học Yorkshire, là nhà vô địch quốc gia ba năm liên tiếp và là nhà vô địch khu vực ở môn chạy 100 mét trong hai năm liên tiếp,[4] sau đó hoàn thành các môn học của mình tại Trường Boston Spa; mà tại đó các trường cao đẳng thể dục thể thao là một đối tác với các câu lạc bộ bóng đá.

Milner được quan tâm khá nhiều sau khi mọi người xem anh chơi bóng. Anh ủng hộ câu lạc bộ quê nhà Leeds United từ khi còn nhỏ và từng xem họ giành chiến thắng ở FA Youth Cup năm 1993. Milner và cha mẹ của anh, Peter và Lesley, từng là những người giữ vé và sau này anh trở thành một cậu bé nhặt bóng cho câu lạc bộ.[6]

Khi Milner được 10 tuổi, anh gia nhập Học viện Leeds United sau khi được phát hiện tài năng bởi một trinh sát trong lúc đang chơi cho Westbrook Juniors ở Horsforth. Tại học viện này, Milner chơi với các cậu bé từ những câu lạc bộ khác ở phía bắc, bao gồm cả tiền đạo tương lai của Manchester United Wayne Rooney. Có những tiến triển tốt tại tại học viện, Milner đã được đưa vào với tư cách là một học viên sau khi rời trường. Tuy nhiên, cha anh cũng nhấn mạnh rằng con trai mình phải đi học đại học mỗi tuần một lần để tiếp tục con đường học hành của mình.[7] James tiếp tục nâng cao kỹ năng của mình ở đội trẻ, và chơi cho U-15 và U-17 Anh.[4][8] Anh đã giúp tuyển U-17 Anh giành chiến thắng trong giải đấu mùa hè năm 2002 trước Ý, Cộng hòa Séc và Brazil, trong đó anh ghi được một bàn thắng vào lưới Brazil.[9]